Fast Two-step Blind Optical Aberration Correction

The optics of any camera degrades the sharpness of photographs, which is a key visual quality criterion. This degradation is characterized by the point-spread function (PSF), which depends on the wavelengths of light and is variable across the imaging field. In this paper, we propose a two-step scheme to correct optical aberrations in a single raw or JPEG image, i.e., without any prior information on the camera or lens. First, we estimate local Gaussian blur kernels for overlapping patches and sharpen them with a non-blind deblurring technique. Based on the measurements of the PSFs of dozens of lenses, these blur kernels are modeled as RGB Gaussians defined by seven parameters. Second, we remove the remaining lateral chromatic aberrations (not contemplated in the first step) with a convolutional neural network, trained to minimize the red/green and blue/green residual images. Experiments on both synthetic and real images show that the combination of these two stages yields a fast state-of-the-art blind optical aberration compensation technique that competes with commercial non-blind algorithms.Comment: 28 pages, 20 figures, accepted at ECCV'22 as a poste

Variational approach to interpolate and correct biases in stereo correlation

Un défaut bien connu des modèles numériques d 'élévation (MNE) obtenus par des techniques de corrélation, est le phénomène d'adhérence, qui apparaît le long des bords très contrastés de l'image comme une dilatation de la partie supérieure (ou inférieure) du terrain estimé. Le phénomène est directement lié à la taille des voisinages utilisés lors de la maximisation de la corrélation normalisée, et la magnitude de ces artefacts ne peut pas être négligée quand une précision très sous-pixellaire est cherchée. Le travail de Delon et Rougé [3] donne une caractérisation de ce phénomène, fournissant un lien entre les disparités mesurées par corrélation et les vraies disparités. Il permet aussi de détecter des régions incorrélables, c'est à dire, des régions ne contenant aucune information utile pour une corrélation suffisamment précise. Comme cette relation (entre disparités vraies et estimées) est exprimée par un système linéaire très mal posé, des nombreuses suppositions simplificatrices ont été adoptées pour sa résolution, conduisant à la correction barycentrique du phénomène d'adhérence. Le résultat, bien que beaucoup amélioré par rapport aux disparités brutes, reste légèrement flou et oscillant, ce qui est particulièrement gênant pour le MNE urbain. Dans cet article nous proposons des suppositions simplificatrices moins contraignantes pour l'inversion du système, à savoir, sa régularisation par un terme de surface minimale ou variation totale. Une telle approche permet d'obtenir un terrain avec des bords moins flous, tout en interpolant les régions vides (sans information fiable de corrélation) d'une façon raisonnable

Irregularly sampled image resortation and interpolation

The generation of urban digital elevation models from satellite images using stereo reconstruction techniques poses several challenges due to its precision requirements. In this thesis we study three problems related to the reconstruction of urban models using stereo images in a low baseline disposition. They were motivated by the MISS project, launched by the CNES (Centre National d'Etudes Spatiales), in order to develop a low baseline acquisition model. The first problem is the restoration of irregularly sampled images and image fusion using a band limited interpolation model. A novel restoration algorithm is proposed, which incorporates the image formation model as a set of local constraints, and uses of a family of regularizers that allow to control the spectral behavior of the solution. Secondly, the problem of interpolating sparsely sampled images is addressed using a self-similarity prior. The related problem of image inpainting is also considered, and a novel framework for exemplar-based image inpainting is proposed. This framework is then extended to consider the interpolation of sparsely sampled images. The third problem is the regularization and interpolation of digital elevation models imposing geometric restrictions. The geometric restrictions come from a reference image. For this problem three different regularization models are studied: an anisotropic minimal surface regularizer, the anisotropic total variation and a new piecewise affine interpolation algorithm.La generación de modelos urbanos de elevación a partir de imágenes de satélite mediante técnicas de reconstrucción estereoscópica presenta varios retos debido a sus requisitos de precisión. En esta tesis se estudian tres problemas vinculados a la generación de estos modelos partiendo de pares estereoscópicos adquiridos por satélites en una configuración con baseline pequeño. Estos problemas fueron motivados por el proyecto MISS, lanzado por el CNES (Centre National d'Etudes Spatiales) con el objetivo de desarrollar las técnicas de reconstrucción para imágenes adquiridas con baseline pequeños. El primer problema es la restauración de imágenes muestreadas irregularmente y la fusión de imágenes usando un modelo de interpolación de banda limitada. Se propone un nuevo método de restauración, el cual usa una familia de regularizadores que permite controlar el decaimiento espectral de la solución e incorpora el modelo de formación de imagen como un conjunto de restricciones locales. El segundo problema es la interpolación de imágenes muestreadas en forma dispersa usando un prior de auto similitud, se considera también el problema relacionado de inpainting de imágenes. Se propone un nuevo framework para inpainting basado en ejemplares, el cual luego es extendido a la interpolación de imágenes muestreadas en forma dispersa. El tercer problema es la regularización e interpolación de modelos digitales de elevación imponiendo restricciones geométricas las cuales se extraen de una imagen de referencia. Para este problema se estudian tres modelos de regularización: un regularizador anisótropo de superficie mínima, la variación total anisótropa y un nuevo algoritmo de interpolación afín a trozos